1.3统计学习方法三要素

  • 方法=模型+策略+算法
  • 模型
    • 假设空间包含所有肯呢个的条件概率分布或决策函数
    • 决策函数
      • 若定义为决策函数的集合:​F由一个参数向量决定的函数族构成:​参数空间:
      • 例:线性回归
      • 实例:​决策函数:
      • 向量形式:f(x)= w·x+b,其中,
      • 那么,参数空间是w,b组成的空间
    • 条件概率分布
      • ​若定义为条件概率的集合:​F由一个参数向量决定的条件概率分布族构成:
      • 例: Logistic回归
      • 实例\colon x=\bigl(x^{(1)},x^{(2)},\cdots,x^{(n)}\bigr)^{T} $$  条件概率分布:
  • 策略
    • 损失函数
      • 0-1
        • 分类问题
      • 平均损失函数
        • 回归
      • 绝对损失函数
        • 回归
      • 对数损失函数
        • 处理概率模型
    • 风险函数,期望损失函数
      • 理想情况下的损失函数
    • 经验损失函数
      • 在给定数据集上的损失函数
      • 改进
      • 结构风险最小化(structural risk minimization)
        • 加入了罚项(penalty term)
        • 为模型的复杂度,f越简单,就越小
        • 是系数,用以权衡经典风险和模型复杂度
        • 结构风险需要经验风险和模型复杂度同时小
      • 这就就引入了最优化策略(加了一个min)
  • 算法
    • 基于训练集,用什么样的方法求最优模型